Elvis Phương kết hôn 2 lần. Người vợ đầu tiên quê ở Đà Lạt, mất trong tai nạn giao thông năm 1970. Nhiều năm sau, sau khi định cư ở Hoa Kỳ, ông kết hôn với người vợ hiện tại Phan Lệ Hoa.

Elvis Phương là anh trai của ca sĩ hải ngoại nổi tiếng Kiều Nga.

Elvis Phương định cư tại nước ngoài từ năm 1975, lúc đầu ở Pháp, sau đó ở Hoa Kỳ. Sau khi mổ tim vào năm 1998 ông cùng vợ về quê vợ tại Nha Trang[2]. Hiện thời thì ông cư trú tại quận 12, thành phố Hồ Chí Minh.

Ca sĩ Kiều Anh - em gái của Elvis Phương cho rằng anh trai không xứng đáng hát bài "Bông hồng cài áo" bởi nam danh ca không về chịu tang khi mẹ mất.[3]